Daddario lahir di Bandar Raya New York. Beliau merupakan anak sulung kepada Christina, seorang peguam dan Richard Daddario, seorang seorang pendakwa raya dan bekas ketua unit anti keganasan Jabatan Polis Bandar Raya New York di bawah Datuk Bandar, Michael Bloomberg.[2] Adik lelakinya, Matthew Daddario juga merupakan seorang pelakon.[3][4] Beliau juga mempunyai seorang adik perempuan bernama Catharine.[5] Datuk sebelah bapa beliau, Emilio Q. Daddario adalah seorang ahli Dewan Perwakilan Amerika Syarikat dari Parti Demokrat bagi negeri Connecticut dari tahun 1959 sehingga tahun 1971.[6] Beliau berketurunan Itali, Hungary, Inggeris, Slovakia dan Ireland. Daddario dibesarkan di Upper East Side, Manhattan. Beliau menghadiri Sekolah Brearley dan Sekolah Kanak-Kanak Profesional.[7] Daddario berkata beliau membuat keputusan untuk menjadi seorang pelakon ketika berumur sebelas tahun.[8] Beliau menghadiri Kolej Marymount Manhattan.[9] Beliau mempelajari teknik lakonan Meisner selama bertahun-tahun.[10]